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DE 195 30 646 CI discloses a learning method for a recurrent 
neural network. By the application of this method, the 
returns of recurrent neural networks are splitted. This 
provides additional inputs receiving training data. The 
training data are obtained on the basis of error 
distributions and the application of a Monte Carlo method. 

DE 195 30 646 CI represents technological background with 
regard to the use of neural networks. It does not disclose a 
method for detecting the modes of a dynamic system with a 
drift segmentation model as claimed in the above U.S. patent 
application. 
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@ Larnverfahren fur ein rekurrentaa neuronals Net2 

(§) Bel Anwendtmg des arftndungsgemS&en Verfahrens war- 
den die ROckfuhrungen rekurrentar neuronaiar Netza aufge- 
trennt Pur die Nerdurch gewonnenen zusfitzllchan Einganga 
am Netz warden TraWngadatan kunstfich bereftgeatatft, 
Jndem anhand der bekannten MeSwerta aua der zu Trai- 
ning szwecken zugefQhrten Zeftretha und daren bekanntsr 
oder vorgegsbaner FehfBrverteliungsdichte fur die zusatdi- 
chen Werte FeWarverteikingsdichtan berechnat warden. 
Hlerzo sind gamfiS der Monte-Cado-Methode aus dfeser 
fthlerverteilungsdtehte Proben zu Ziehen. Mtt denen wtrd |e 
ein vorherzuaagender Wart dar Zaitreihe barachnet und 
damn MfttaJwert wlrd fflr elnen vorherzuaagenden Wert 
elngasetzt. Sn&atzgabteta der Erfindung Bagen auf alien 
bekannten Einsatzgebieten neuromiier Netza. 
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Beschrdbung 

Die Erfindung bezieht sich auf dn Lcnwerfabren znr neuroaalen Modefficrung von dynamfcehen Ptozessen* 
Nenronale Netze fmden in die vielfahigrten techirischen Gebiete Singang. Oberafl doit, wo es gilt, aus 
5 komp>fre" tf**™**^*" Zusainraenhangen and aus imzordcbenden Infbrmationen Entscheidongen abzuldten, 
erweben rich nenronale Netze ab besondera gedgnet Zur Bildung dner oder mebrerer AtisgangsgrflBen 
werden dem neuronafea Netz bcispidsweise erne oder niehrere Emgangsgr&Ben zugeffihrt Hierzowini eui 
sc^es Netz zimachst fflr den spez^ 

dnem anderen Datensatz ab den TVainingsdaten validiert Neuronale Netze erweben sich Ru* vide EnsatzMe 
io a!s besonders geeignct da sie tmiversell trainierbar sinxL 

Em haufig auftretendes Problem im Zusammenhaug mit dem Einsatz ran neuronalen Netzen bestefat afler- 
(fings darin, daB biufig die Emgangsdaten zam lYammg, oder beim Betrieb des Netzes nicfat vollst&adig snuL 
Dieser Sachverhalt und audi die Tatsache, daB (fie Meflwerte fQr den Anfbau einer Zdtre&e, wdche don 
nemtmiu^NetzzugdFGhrtwir^ 

gebnbae der Netze erztelt werden. Bei rekurrenten n euro nalen Netzen tritt insbesondere das Problem ant daB 
wegen der auf Engange rQckgekoppelten Aosg&nge beim Training oicht afle Etoginge mit Traimngsdaten 
besdnckt werden k&men. Bblang gibt es lecine Methoden, wetehe dieser besocderen Problemadlc Redlining 

Aus der Vertffentlfchiing von Tresp, Volker et ab Training Neural Networks with Deficient Data . In: 
Cowan, JJX et al (Hrsg.): Advances in Neural Information Processor Systems 6, Morgan Kaufman, 19H S. 
1 28— 135, sind die Gnindlagen zttm Training neuronaler Netze mit Hiife unvollstindiger Daten bdoumt Vor 
alien Dingen werden dabd Losungen bevoxzugt, die eine gewicbtete Integration fiber die nn be taimten oder 

Aus der US-Patentschrift US 5 182 794 bt em Lernsystem fur rekurrente nenronale Netze bekannt Dieses 
Lernverfahren betrifft nenronale Netze; wdche venteckte Bingangs- tmd A esg ang snc mxmen haben imd kalfai- 
Bert Wrchtnngsfehier fiber eine bescfarinkte AnzaM von Fortpflanzungen fiber das NetzwerL Mi t dicse m 
Verfahren k&uneu gangige Lermnengen, weldie fflr vorwartspmpagierende Netzwerke verwendet werden, 
ao^ffirrdumenteNetrwerkeV^ 

Ans derjapanischen Vercflentfichung JP 06-301 663 A In: Patent Abstracts of Japan 1st em Lernsystem fur 
seridl verbundene reknrrente nenronale Netze bekannt Dabci wird der aktivc Ausgangywert eines Ausgangs- 
neurans 4 als Lernsignai ffir dnen Ansgangszustand verwendet, und m dncm fbitgescbrittenen Stadium wird 
beim Updatcn der Verbindt^ 

vorbesdiiiebeiienGewk&tii^ _ 

Die der Brfmdmigzugnmddi^ende Anfgabe besteht desnaib darin, dn Lernverfahren anzugeben, mit dem 
der Leravorgang brim Training eines rdmr centen neuronaien Netzes verbessert werdea kann. 
DieseAin^bewinlgema^denMatmalendtt I gel5st 

WdteiMdinigender&fiiidiing 

Bin besonderer Vorteil des erfadungsgemftBen Verbhrens besteht darin, daB bier erstmab ein Verfahren 
vorgestdlt wird, mit wetehem mefar Einginge fur das Training rekurrenter neuronaler Netzwer ke znr Verffir 
gtmg itefaen> Duitdi das V«fafaren werden namCcfa die RDdtfOhnmgen der rckurremcn Netze an^get wmt e nd 
dieseaufgetrenntoVerbmdi^ 

se steQt das erfindnngsgcnOSe Verfahren hoenwertige kfinstbcb crzeagte Werte fQr <fie Zdtrahe zur Vesffi- 
guoft wdche mit Hiife der Fehtervertdlimgsdichte und der restOchen bekannten Werte der Zeitrdhe, not 
wefchem das Netz trainiert werden adl, berechnet werden. 
45 BesanderaTOrtcflhaftkaimdaserfiirftu^ 
einanderttegende Werte der 2^tre^nnbdcai^ 

Verbindungen anfeetrennt worden. 2«r Berecbmmg dieser Werte wird vorzngswdse em tarationsverfabren 

angegdx^ bd wdchem IhnSch vorgegangen wird, wie bei der Berecbmmg eines Bmzdwotes, jedocb wird 

dann cfieser Wert ab bdeannt voraosgesetzt und der wehere imbekannte Wert mit diesem berechnet Die 
50 Iteration kann solange dnrchgeffihrt werden, bis eine hinreicbecde Genauigkdt der zn ennittdndea Werte 

gefonden wurde, oder bis das Netz mit dem gewunscfaten Lenierfblg trainiert wurde, 
Ein besonderer Vorteil des er&ufamgsgemftBen Verfahrens bestefat darin, daB ausgemrtzt wird, daB die 

fehtoiden Werte oder de verranscbten Werte, wdche den nennmalep Netz zugefnhrt werden soflen, Bestand- 

tea einer Ahft^ vim Wertenm der Zdtreihed^ 
55 fichkeh der resdichen Werte dazu benntzt werden, um fflr den ftfilenden Wert nach dem erfindimgsgantBen 

Verfahren eine erwartete Fchlervgrtdlimg and rfsmit den erwarteten Wert bereclmenzn konnea. 
Gfinstigerwdse konnen nach dem erfindnngsgemaBai Verfahren ancb fehlende Werte, die in der Zeitrdhe 

benacfabart sind, bestnmut werden. Daffir ist dn iteratim Vbfgang vorgesehen, der esnmal den d nen Wer t 

berechnet and danach den anderGi mh den aos dem dnen Wert gewonnenen Daten ermittdt Gilnsti^rvrase 
m kanne^e^Iteralicwvorganganchmeh^ 

besthmnenden Werte gewahrieirtet ist 9 m 

Besonders kann nach dem ernndangsgemiBen Verfahren axsch ein nenronales Netz tranuert werden, welcnes 

die Tdtrcflip ny^MM«» «ftfl f rfa dmhei vortdlhaft die Lernscfarittweite anf die Zahl der gezogenen Monte Carlo 

Profaen bezogen wird* 

«5 Gfinsngerwdse wird fiir das Fehlerverhalten der EmgangsgrCBcn der Zertre&e eine GaiiBvertdhmg ange- 
nomnum 

oder festgdegt da dies dne Vertdlung bt wekbe pr^^ 
VorteOhaft werden dnfache «i«m>ri«^g Verfahren bdm erfmthmgsgcmfiBea Verfahren eingraetzt, um feh- 
loide Wote bestimmen zn kdnnen bzw. um dnen kfinftigen Wert in der Zettreflie mit fcblenden Werten 
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vorhersagen zu konnen. 

Vortdlhaft werden nach dem erfindcngsgemaBen Verfahren einfache mathematische Methoden angegeben, 
urn MeBwerte entsprechend aufbereiten zu kSnnen and damit das neuronale Netz traimeren zu kfirnien. 

Bcsonders vorteflhaft werden Methoden angegeben, urn verrarocfete MeBwerte airfzuberdten, bzw« um 
MeBwerte aufeuberriten, wdche eine bekannte tmd eine unbekannte Rauschkomponente enxhahen, um damit 
das neuronale Netz aof einfache Weise und effirient traimeren znkdnnen. 

Im folgenden wad die Erfindung anhasd von Figuren writer erfiutert 

Fig* 1 zeigt eiurekurrentes neuronaies Netz 

Fig* 2 gxbt dn Beispid des erftndungsgemafien Verfahrens an 

FSg. 3 zeigt eine Zeitreihe 

I^4zrigtrineZcitre2ieandemSystemwiialten 

Fig. 1 g&t em Beispid einesrekurreitfe^ 
mh einem Systemverhalten SY trainiert, welches in Fig. 4 naher dargestellt ist Am Netz sind freie EingSnge 1 0, 
20 und frrie Ausglnge «t 70 vorgesehen. Bei bisher angewandten Trainingsverfahren fSr sdche reknrrenten 
Netze stehen iediglich die Eingange 10 und 20 zur ZufuhrvonTrainingsdatenberdL 

Wei ter sind am Netz Rflckffibrungen 30 and 40 vorgesehen, wdche beim reknrrenten Netz ein quasi Gedacht- 
nis realisieren. In Fig. 1 ist weiterhin eine Schnhtfinie 50 angedeutet, entlang der nach dem erfindungsgemaBen 
Verfahren die Rttckfflhrungen bzw. die Leitnngen zwischen den Ausgangen und Eingingen 30 und 40 aufge- 
trennt werden kannenu Vorte Shaft wird so dorch das erfindungsgemiBe Verfahren der Effeki erzie It, daB beim 
Training des rekurrenten Netzes auch die Eingange 30 und 40, wdche sonst geschlossen waren, fflr den 
Trainingsvorgang znr VerfOgung stehen. Dadurch, daB beim Trainieren des Netzes mehrere Emgfinge verwen- 
det werden, wild ein schneilerer Trainingserfolg erracht Bd der Bereitstdlung der Trainingsdaten fQr diese 
zusitzfichen Bingange wird erfmdungsgemlB davon ausgegangen, dafi das Netz niit dner Zeftreflie von zeitfich 
nacheinander anfallenden Mefiwerten dies technischen Systems beschickt werden soil ami dieses nach dem 
Training nachbilden sofl. Da* so die erfindeixsche Idee, die briden zosatzflchen Eingange 30 und 40 ebenfails 
Bestandteil der Zeitreihe von MeBwerten sind, kann Qber die restiichen MeBwerte tmd deren Fehlerverteikmgs- 
dichte der Wert erredmet werden. Dies gesdneht Qb er das erfindungsgema&e Verfahren mittds der angenom- 
menen Fehlerverteilnngsdidite fQr (fie Eingange 30 und 40 ami der Ziehnng von Monte-Carb-Proben gemSB 
dieser Fehierverteilangsdichte und Mittdwertbiidung der gezogenen Proben. So ergeben sich zusatzBche TYai- 
nmgseingangswtrte gemiB dem erfindungsgem&fien Verfahren. Die genaueren Details dieser Berechramgsme* 
diode mit dem erfmdungsgein&Ben Verfahren sind bd den Erlauterungen der Fig. 3 und4 dargestdlL 

In Fig. 2 wind der erfindungsgemaBe Ansatz nochmals «Agnd eines Belspddes verdeut&cht. In Fig» 2 ist 
dasselbe rekurrente neuronale Netz wieinFlg.1 dargestdk. Bd der erfindungsgemafien LBsungsvariante wird 
davon ausgegangen, obwohl das in Realitat nicht der Fall ist, dafi die beideudordk Auftremumg der Leitung 50 
cuts tehenden Eingange 30 and 40 mit Werten einer Zehrdhe beschickt werden, wdche sich aus den Eingangs- 
werten der Eingange 10 und 20 errechnen lassen. Do* Engang 30 wird also bdspidsweise mit dem Wert M und 
der Fehlervertdhngel aus der Fig. 4 beschickt, wekher in der Zdtrethe (fie Position y t -2 innehat. Der Eingang 
40 wirddannbeispielsweise mh dem Wert L aus Ffy 4 und dessen Fehiervertdiungsdichte e2 beschickt Dieser 
nimim in der Zeitreihe die Positw^ 

chen Verzdgerung der dnzdnen Werte ftinerhalb der Zehrdhe entsprechea Zl entsprache in diesem Fall einer 
Zdtverzdgerung vonyt-i bis yt-2 und Z2 cntsprSche in di^em Fall an der Ldtung 40 einer ZertverzSgenmg 
zwischen yt-2 und yi.s. Mit der erfindungsgemafien Methode wild dn Verfahren angegeben, mit welchem 
fehlende Werte einer Zeitreihe mit hoher Genauigkdt Qber deren Fehierverteilangsdichte und Ziehen von 
Monte-Carlo-Proben mit nfi&W****"*** Mittdwertbiidung nachgebDdet werden kSnnen. Der Grundansatz do* 
Erfindong macht sich diese Idee zumUze, indem die kOnst&h erzeugten Eingange von rekurrenten neuronaien 
Netzen mh irfing tB^h erzeugten, durch die ofindungsgemlfie Methode bemfaneten Werten, wetehe aber sehr 
genau sind, beschickt werden, Iferdurch wnd vortdihaft eine bessere Trainmgsleistimg, wdche skh in genaue- 
ren Gewichten an den einze Lnen Neuro nen wkierspiegeh, errid t Es ist mcht erforderlich, zur DurchfOh rung des 
erfindungsgemSBen Verfahrens a&e Leitungen, A h. RQckfBhnmgen des neuronaien Netzes, aufzutrennen, vid- 
mehr kdnnoi auch laflweise iedigikh einzdne Ldtungen aufgetrennt werden, da so erheUich weniger Rechen- 
aufwand bei der Ziehung der Monte-Cario-Prc4>en und der Berechnung des Wertes, fiber die Zngnmdd^ung 
der Fehlerverteflungsdichte der restEchen Zdtrdhe, getrieben werden muflL Bd fcompleieren Vorgangea kaim 
es A Ttrh smnvofl sdn, mehrere Rilckftihrungsldtungen des neuronden Netzes; ab hier in Fig- 1 tmd 2 dargestellt 
sind, aufzutrennen und auf kompiizierte Weise die hierfOr erforderfichen Ringangswerte zn bestimmen. Vortefl- 
haft wird mit dem erfindungsgemaSai Verfahren dn Iteratbnsverfafaren angegebai, wdches auf Basis der 
erfindungsgem&Ben Methode due Berechnung auch mehrerer Werte enndgficht FaUweise wird der Fachmann, 
wdcherdie Erfindung ausfuhrt, entscheiden kannen, wdche Methode zur DurchfOhrung der Erfindung fQr 3m 
die gOnsdgste ist Er wild dabd abwagen, ob er hinrdchend Rechoikapazhdt zur VerfQgung hat, um das Netz 
genau modeflieren zu kSnnen, oder ob es ihm wtchtiger ist, einen schnellen Erfoig beim Trainieren des neurona- 
ien Netzes zu erreichen. 

Fig-3zdgt eine Zdtrdhe von MeSwerten, wdche bdspietsweise einem neuronaien Netz zugefQhrt werden 
kannen. GendB Direr zeitlichen Abfolge werden diese MeBwerte beispieisweise von einem technecium System 
erfaBt und gemfifi Strer zeitlichen Abfolge mh yt las y t _e bezdehnet Die dargesteflten Pfeile zwischen den 
dnzelnen Kflstchen symbolhieren die AiMngig^ehen der verschiedenen Werte untereinander. Beispieisweise 
wird in Fig. 3 davon ausgegangen, daB der Wert y t -2 fehlt Die im Markov blanket rdevanten Werte, afa 
benachbarte Werte dieses fehlenden MeBwertes, sind yt-4 yt— ^ yt-i und y* Ein solch fehlender MeBwert in 
einer Zeitreihe kann bdspidsweise dadurch entstehen, dafi znm fraglichen Zdtpunkt das MeBgerftt, zur Werte* 
aufhahme nicht funktionierte, oder daB es zwischen dnzdnen gemessenen Werten gOnstig erschdnt, um das 
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DeuronaleNetzbesscrzatrainler^ 

also noch dem erfindongsgcmaDcn Verfahren erzeugt werden sofl- Beispidsweise wird in Hg. 3 weiter toon 
ausgegangen, daB der Wert y t -3 fehlt Die kn Markov blanket relevanten Wert^afe benadibarte Werte dieses 
fehlenden Mefiwertes, sind y t -& yt-4. yt-2 und yi -4- Beim vorgestdlten ermidungsgeinaBen Verfahrai entste- 

5 hen diese fehlenden MeBwerte jcdocfa durch Anwendung des ermidungsgemflBen Verfahreas auf rehpeme 
ncnnmafr Nfftrff. Ind^rm die ftfirfrlmpplmi£pfdtiiiigm 3Q ind4D aufgctrcmit werden, ergeben acfa luer bccpiefe- 
weise zwei zusfttzliche Eingtnge, welche bei Anwendung des er&dimgsgemaBen Verfehrens znm Training 
zusatzlich mit Lerndaten besehickt werden konaaL Dies hat nacfa der erfinderischea Wee zur Folg* daB das 
Netz mit besser zntreffenden Gewfcfaamgs&ktorea ausgestattet wird. Dies ist der Fall , obwoM die Wate, 

10 welcheflber diese Engtnge zngefwta werden anf dfe 

Dabei ist allgemdn zu bemerken, daB die Anzahi der airfnifrninenrien ROckfflhrfeitmigen lemgiicfa toil der 
Auspragung des reknrrenten neuronalen Netzes abbflngt und nicbt durch das crfoutangsgemSfle Verfahren 
bescfarinkt wild. Es kaim Mweise aodt gfi^ 

trennen, weil trotz des dabei zu betreibenden geringeren Rechenaurwandes one hmrachende Lernlcistimg dea 
25 Netzes erziefb&r isL 

Fig. 4 zeigt die Zehreihe aus Fig. 3 in Verbindung nut dnem reknrrenten neuronilea Netz NN. Es ist zu 
erkennen, daB y eine zeitabfaangige Variable darstdlt, welche das Systemverhaiten SY ernes techmschen Sy- 
stems reprftsentiert. Wie erkannt werden kann, enisprecfaen d&e Werte y% bis yt-6 MeBwerten, wekfae dem 
System verburf SY entnommen werden. Durch die gestrichelten Pfdle zu den jeweillgen Zritpunkten ist symbol 

2D siertdafldicseMeBwertedemnew)nato ^ 

Wie audi in Fig. 3 ist der fragHche MeBwert M »r den Zdtpunkt yt-2 ric^ FQr dtesen MeBwert 

M ist seme Walrahemfichkdtsdichte el tngegebcm Diese WahrsrhimlirMdrsdicbte a Icann beispidsweise 
nach dem cyfmdungsgcmiBea Vgfahren ans einer vorgegebencn bekannten FcMerve rtcitangsdl cfcte derfibri- 
gen bekaimten MeBwerte rQckgerecfanet werden. msbesondere wird dabei ausgemitzt, d aB sich der feHrade 

25 MeBwert zwiscfaenzwdbefanntea 

der benachbarten mid der restGcfaen MeBwerte der Zehreihe begrenzt wird Die zugrunddiegende Zeitrdhe 
fifitfichwiefelgt beschreBben: 

yt - l&ft-uyt-ai...,yt-N)+et (l) 

30 Dabei ist f entweder bekannt Oder wird hinreachend durdi ein neuronales Netz modefliert et bedentet dabei 
rinm aridrriven mikorreOcrten Fehler mit zehBchera Mittetwcrt a Dieser Fehler weist dabei- ™ddas fet flr 
das erfmdungsgemftBe Verfahren esscntidl — erne bekannte oder vorgegebene Wam-srbfrr^nkfinnTdite P* (ej 
auf and versambQdEdit typischerwdse die munodeHierte Dynanxik der Zehreihe. Beispielswrise soil fQr due 

35 solche Zehreihe; die narfi dem ^fi^ Atngt^ma fign Verfahren kompiettiert werden sdL ein zukunftiger Wert 
vorhergesagt werden. Dabd ist zn beachtav daB znkflnftige Werte rdatrv zu der mom c ntanc n gewfthlten 
Zcitposmcn zn verstehen imd Das hetBt fflr cincn Zcfrpmikt yt-s ist der Zritpimkt y«-4 ein zokfinftiger WerL 
Unter diesen Voraussetztmgen fifit sich me bedingte WahrFchcmfichkrittriiditc fUr dnen vorherzusagenden 
Wert der Zdtrdhe wie folgt beschrdbea 

40 

P(yt|yt»!,yt-»"-»yt-N) - P«(y-^rt-u^-*— »yt-»0) (2) 

Wie berdts erwahnt mnB die Fehlerverteaangsdicfate bckaimt grin. D»se Vertrimngsdichte kann entweder 
aiAand dw Sjystrmrrrhaltrm mwf b^lrwmitiT ««H mr SnBerer GrSBcn grmittdt oder vonregeben werden. Bine 
45 typische Fehlerverteamig, die in der Praxis auftritt ist <fie GauSvertdlimg, Mit einer solcfafia angenommenen 
Gaml f schen FehlervCTteihmg IfiBt acfa die b cdingte Wahrscheinlichkd tsxf dite wie folgt bescfareibqi: 

P&tIyt-uyt-2— yt-w) -G^fiCyt-u.-yt^o 1 ) 0) 

50 DarinbedeutetG(x;c;o^dieN6ta^fm^ 

and einer Varianz a 3 . Geht man davon ans, daB das zn beschreibeiKie System in Form einer Fo Ige von Wert en 

yyf +mt*r 7^ffu^ farg&tdit wlrri, sn Vtam mm cfie emzdnen Werte von Yt auch als Zufalbvariable in emcm 

probabaistcdien Netzwerk aaffassea Dabd fiegt der Erfinrhnig das ProUm 

be vorherzusageo, mdotn <fie TOrlauKiene mfonnatim am 
39 det wird Unter Voranss^znng der Aimahmen,dk 

keitsdkhte der Zdtreme wie folgt bescfardben: 



Dabd wird davon ausgegangen, daB yt-trnhk ^ N der feblende Wert ist Voransgesetzt, daB y" = {yt-kfimd 
y* - (yt-i, . yt-k-Np(yt-k} gm, kann der erwartete Wert der in der Zettreihe vorherznsagoi ist wte Wgt 
beschiiebcn werden: 




(4) 



65 



ECyjMt-O - J!(yt-!.— tyt-k. ^yt-H)PtyV I ) d y ,, © 



Dabd gdten folgende Voranssetzmigen: 
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Mt-i stent fflr alle Messongea bis turn Zdtpunkt t— L Die voranstehende Gfefefauog 1st die gnmdlegende 
Gieichttng fur die Vorhersage mit fehienden Datau Dabei ist faesonders zu beachten, daB die Unbekannte yt-k 
nicht exit von den Werten der Zeitreihe vor dem Zeitpunkt t — k abhJingt sondem audi von den Messungen 
nacfa t — k. Der Grand besieht darin, daB die Variabien m ^Uyt ein mft""™'*" Markov blanket von yt~k 
formen. Dieses mimmak Markov blanket besteht ans den direkten Vorfahren and den direkten Nachfahren 
einer Variable und alien direkten Vorfahren Ton Variabien des direkten Nachfolgers. Im betrachteten Beispid in 
Hg. 4 aind die direkten Nachfahren y t . . .y t i. Die dfctaen Vorfahren snd: 

y t -t-i...yt-fc-K 

nnd die direkten Eitern des Nachfolgers der Variabien sind; 

yt-i.--yt-k-N+i- 

Ans den theoretischen Grondlagen xst bekannt daB eine Variable unabhangig von eeoer anderen Variabien 15 
dieses Netzwerkes ist wenn die Variabfen innerhalb des Markov blankets bekannt sind Desbalb wird die 
ben&tigte bedmgte Dichte aos Gieicfaung(5) wiefolgt bestimmt: 

PCsW) °° P(yt-ijyt-a..,y t -b..,yt-i-N) xFOft-ziyt-i yt-k^ yt-2-n)-. P(yt-k|yt-k-u .-*,yt— 
k-NX (5b) 20 

Der hier beschriebene Fall eines fehienden MeBwertes kann audi ohne Beschrankung der Erfmdung anf 
mehrere nebeneinander liegende fehlende MeBwerte ausgedebnt werden. Falls dies der Fall ist, nmB beispids- 
weisenachamerfifidungsgemal^ 

Vorfahren bestinmit werden und ink diesem bestimmten Wert dann der weitere Wert ermittdt werden. Dies » 
kann solange hin- and hergehen bis eine hinrdchende Genaiiigkeh erocht wenlea F&rdiesen Fall gilt: 

y* C {yt-t,yt~a.-*y t -.,i} (5c) 

FOr alle fehienden Werte der Zeitreihe zwischen dem Zeitpunkt t — 1 and t — N, wobei wdterhm gjte 30 
y m £{yt-t,yt-a~..yi} (5d)t 

wdche die Zahl aller MeBwerte bis znm Zehpimkt t— 1 rq>ra^tiert Audi gilt 

wobd die rechte Sette in (5e) aus Cleichung (4) erhalten wird. Im aflgemeinen sind dlese Integrale in den 
voranstehenden Gleichungen fflr die Funktion f(X Ms dies eme mchtfineare Funknon ist nicht analytisch ISsbar. 
Details fflr die numerischc LOsung mit Hilfe der Ziehung von Monte-Carto-Proben werden im Zusammenhang 40 
mit Fig. 3 angegeben. Fflr den Fafl, daB ein wetterer Meflwert der Zeitreihe nachgebildet werden soil, wie des 
bei zwei aufgetrennten ROdckoppIaogsverbindongGa der Fall ist, sieht das ernnAuigsgem&fie Verfahren eme 
iterative Approximation der fehienden Werte vor. Beispiekweise ist fflr das Training des Netzes zusatzfich der 
Wert L fflr den Zeitpunkt y t -3 nachzubflden. Fflr diesen MeBwert M ist seine Wahrscheinlidikdtsdichte e2 
angegeben. Diese Wahrscheinlichkehschehte e2 karm beispiebweise nach dem erfindungsgemftBen Verfahren <s 
aus einer vorgegebenen bekannten FehfeirerteHungsdichte der flbrigen bekannten MeBwerte rflckgerechnet 
werden. Fflr die Berechnung von zwei solchen Werten L und M wird zunachst L bexspidsweise als bekannt 
vorausgesetzt oder geschfct Darans wird M berechnet und mit dem bekannten Wert M wird anschfieSend 
erneut L bestimmt Dieser Iteraticrevorgang Lauftvorzugsweise so lange ah, bis eine hmreichende Genauigkdt 
der Werte gegeben ist odor bis das Netz genan genug trainiert ist 50 

Fflr den Fall, daB y b . ~ yt mGgfiche Werte der Zeitreihe darsteflen, soiien y* £ {yi f -.*y t } afle MeBwerte 
bezeichnen undy 0 - \yw*y$* alle unbekannten Werte bezeichnea Das neoronale Netz NN, welches die 
Funkn'on f modefliert werde beispidsweise mit einem Satz von Gewichten w parametrisiert Dann gilt: 

J(yt-t,..,yt-N)« NNw(yt-!,-,yt-N) » 

Die logarithiTmche Wahrscheinlidiketehinktion lautet damu : 0 

L - Iog/P^y ts yt-i,...ya k yi)dy 0 

wobei dann cEe gmeinsame Wahi^einlichkeitsdidite sich zn 
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appr ojduuert und fflr das neuronale Netz folgender Zusammenhang fflr die Berechnung der FehlerverteBungs- 
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dfchtegQt: 

P^tfa^-uyt^.^yt-K) - P^yt- NNu(yt-ifyt-*-^^-N) (7) 

FllrdaslxnieninhHilfevxmBa^ 
nochder Gradient dcr logarithmfochenWaii^ 



ergflbt Es ist anzumerken, daB Mer bei von bckamrten Ausgangsbedingungen fllr y u . . <. yN ausgegangen wird FOr 
dea Fafl, daB erne GauBverteihmg far die Fehlervert eilung voriiegt, ergart sich daraus: 

wobdy^ « y" n fyb...yi-Nl<fiefarfeii^ 
<^£dkalleyt.„yi~Nbekam^ 

Falls die Mefiwerte yon emem ^fltifr*™ aber befeumtca Rausdten Obeihgot werden ergebea sen die 
folgenden Zusammenhlnge. Bexspiekweise gilt wieder: 

yt - fCyt-i*yt-2,-^ywN) + * 

In dieser Variante der Erfindung soil jedoch kein direkter ZugrifT auf yt bestefaea Anstattdessen wird <fie 
Zeitrethe 

»t-yt + 8t 

gtmeagn. Barm bfdnrtrt "^M^efe** Tt*i«rh«i mit Mittriwgrt MulL Unier der Voraossct nmg, daB z « 
{zi ...zt-i} tmdy = {yi ...yttgetoeo, erg&t sicbdieGeHiintwahrj^ 

t t 

p(y,*)= P(y w ,.-..y 1 )nP(yilyM--y«)nF(2 I lyi) 

DamitltBtsiehdieRecbeiwors^ 

BCyt|z- ^t-u-,yt-N)P(y%^u*^yt-Nlz)d^-i-,.dyt-!C C) 

Ebenso kaim der Gradient der Wahrsd^^ 
daB erne Gaufiverteihing des Ranschens nut 

voriiegt, ergibt5H& 

£«t/(y l -NN.(y w ....y M )) aNN ^-^ ) 

Dem searonalen Nete werden bei einer Variante des erfinduiigsgeffiiBea Verfehrcns bdspieisweise Werte 
zagefOhrt; die verrauscht oder nicfat genaa bestimmhar smd Durch die Approximation dcr Gewicbteim 
neimmidenNetz warden dabd fiber <EeFo^^ 
neoe Werte der Zeitrahebestin^^ 

Nets NN zngeffihrt, weldies (brans wicderum durcb Nacfabfldung der Funktioa f neue Werte der Ze hrcfte 
bestknmtDieser iterative 

menden Werte erreidit wnrde. , % 

7m» etput"-* B ^Htnimmg MA*nAer Werte mtt Hilfe der Monte-Cario-Mcthode wird von folgenden Gnmalar 
gen gTTi e g^g an C ,!!n - ^ htermbeMjiteiLdaB aBeT^ftCTingenefieFonn 

^m^ntn^du (9b) 
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anfweisen, wobd u den Satt von unbckannten Variablen undmden Satz von bekamrten Variablcn bedeutet Ein 
Integral dfeser Form kann beispielsweise geHJst werden, indem Zufaflsproben der unbekannten Variablen 
gem§B P(u|m) gezogen werden. Beispielsweise werden diese Proben mit a 1 ,., u» bezeicfanet Daraus ergibtsich 
folg£pde r 7fr ffatnmerthmg fflr die Aimflhening: 



J%ii^u{in)du« ^j^K***). (9c) 



Es ist zu beachten, dafl in cfieserGIeichung uden Wert y t -b wddier fehlt, entspricht Mh deser erfindiingsge- 
nriBen Lasung reduziert sich das Problem also darauf, aus P(uj m) Proben zu Ziehen. Ffir den Fall, daB letfigEch 
cine Variable fehlt, also beispielsweise ledigEcfa eine RQckfflhrurjg aufgetrennt wurde, reduziert aich das Problem 
also a of das Probenziehen aus einer emvariabten Verteihing, welche mit Hilfe des *sampling-importance-resam- 
plmg*oder anderen samplmg-Tedmiten [I] getan werden kann. 

FOr den Fa! dafl mebr ais em Mettwert fehlt wird die Situation etwas kompMerter. Der Grand besteht dann, 
d aB die unbekannten Variablen inderRegel vonemander abhSngen und daS von der VerteHnng aller unbefcarm- 
ten Variablen gezogen werden muB. Eine allgemeine LSsung dafQr gflrt das Gibbs-Sampiing [1] an. Beim 
Gibhs-SanipBng werden die unbekannten Variablen mh Zufaliswerten, oder besser mit geschatzten Ansgangs- 
werten midaEaert, welche beispielsweise aus den benacfabarten Werten der fehknden Werte abgeleitet werden 
kdnnea fa AnschlnB wird eme der unbekannten Variablen tq ausgewfihh tmd eine Probe von P(nj|nyi/ui) 
gezogen; dannwini \x auf diesen Wert gesetzt Darauflun wind <fie Prozedur fflr die nScfaste unbekannte Variable 
wtederholt usw. Abgesehen von beispielsweise den ersten Proben werden die Proben vorzugsweise mit der 
korrekten Fehlerverteihmgsdkhte gezogen. Dies bedeutet jedoch, daB fflr afle Unbekannten, die jemafc m der 
Zeitreihe auftraten, Proben gezogen werden mttssen. In der Praxis kann aber beispielsweise das Zehfenster aus 
dem Proben gezogen werden auf eine verafinftige GrtBe beschrinkt werdea Beispielsweise karm diese GrdBe 
der GrdBe des Markov blankets fOr die fehlenden Werte entsprechen. ffierbei ist zu beachten, daB fflr den Fall 
daB zwiscben xwti fehlenden Werten H anfeinanderfolgende Werte bekannismd, die Koppbng zwiscben den 
Unbekannten aufbricfct mid daB weitere Werte der Zeitreihe deshalb nicht berGckskhtigt werden mOssen. 

Das Probenziehen ffrzufcGnf^ Werte & 
jedoch zu beachten, daB es so niefct fflr deternrinistische Systeme funktioniert Inarch die erfindungsgemfiBe 
Vorgehensweise wird eine besonders einfache LBssng fflr diese besonders foompfiziert erscheineaden Sachver- 
halte geftmden. Beam Training des Netzes wird beispddswdse der Durchsehnitt der Fehlergradienten gebildet, 
indem zu deren Berecbnong die Werte der Zeitreihe verwendet werden, welche mit den Proben bestimmt 
warden. Beam Ziehen der Proben nach der Monte-Cario-Methcde kann beispielsweise wie folgt vorgegangen 
werden. 

Es sollen beispielsweise K-Schritte in der Zofcnnft der Zeitreihe vorhergesagt werdeiL Im Zusammenhang nnt 
don oben besprochenen Glexdmngen bedentet dies, daB die Werte Jt-u * yt-fc-M fehfen, tmd daB unter 
diesen Voraussetzungen yt vorhergesagt werden soil Unter diesen Voranssetzsmgen ist dk Monte-Cario-Me- 
thode sefar einfach. 7 t vi\**t*** muB beispielsweise von der Verteihmg F(yt-K+i|yt-K. yt-K-N) eine Probe 
gezogen werden. Diese Probe wird mit y*t-x+i bezeicfanet Mit dieser Probe end den vorangegangenen 
Messungen wird beispielsweise eine weitere Probe y t -&+2 aus der Verteilung P(yt-B:+2|y , t-K+ yt-K+i -M 
usw. bis jede Probe fflr jede Unbekannte erzeugt wurdcWenn man diese Prozedur S-mal wiederholt, so erMlt 
man 



E(y t ,M w )=|if(y^,y^ f _^ w ) (9d) 



Die experimentellen Befimde haben gezeigt, daB nut dem erfindungsgemaBen Verfahren gute Trainingslei- 
stungen erzielt werden. 

Iiteratur 

[1] Bernardo, J. M, Smith, A-RKL (1994) Bayesian Theory. Wley & Sons. 

[2] Buntme, W, L and Weigoid, A. & (1991). Bayesian Back-Propagnatioa Complex systems, Vol 5, pp 

605-643. ^ 
[3] Ghahramaui, Z. and Jordan, M. L(1994 Supervised Learning from Incomplete Data via an EM approach. 

In: Cowan, J. D, et al» eds, Advances in Neural Information Processing Systems 6, Morgan Kaofmaa 
[4] Tresp, V, Ahmed, SL and Neuneier, R. (1 994): Training Neural Networks with Deficient Data, hu Cowan, 

J JX et at eds, Advances in Neural Information Processing Systems 6, Morgan Kaufman 

Patentansprtichc 

1. Lernverfahren fflr on re km r en tes nexiroiiales Netz mitfolgenden Merkmalen: 

a) miwfi^iw eine von efnem Ansgang zn einem Qngang znrfickgefflhrte Verbindnngsldtung des 
Netzes wird zum Lenten aufgetremt and der entstehende Eingang in Form eines Lemeingangs 
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c) von einem den EngangsgroBen ubertagerten unkorrefiertMi Rauscfaen cndEdiw Varanz, dai fan 
zeMchen Mittd NuD bt, wird (fie statistische Rauschverteflung tanrittdt oder vorgegcbcnj ^ . ^ . 

d) die dem Lemeingang zngcfDhrte EingangsgrOBc wird ab fehlender MeBwert in der Zdtreihe m 
Form emcs Fehlwertes aufiwatet, kuiem mmdcrtens aos dem Fehrwert m ^ r ,^ tr «^™f chb "^ 1 
Mefiwerten nnd der bekannten riatistischen Ranschvcrtdtong dessen statunsdie Fehh^-Rausclivw-- 
teflnng berechnet wird imd filr den Fehhrert gemaB dcr FehIwert-R«asdive^aii«miiKlcsti^ eme 
Monte-Cario-Probe des Fehlwertes gezogen wird, die an KineStefle in der &atrrihe trttt 

2. Verfehren nach Anspruch 1, bei dem cin vorhcrznsagender Wert in der Zeittwhe ^ P™gno^wwt 
besttmmt wird, indemfur den Fehlwcrt mebrere Mratte-CaHo-PrcAen ^^^^.^^^ 
bestimmtwerdea.wobaaliPro^ 

Prognosttwerten ver v/endet wtixl . 

1 Verfeliren nach Anspnich 1 oder 2, bci dem mmdestens zwd ^^^^^f^^S 
rurOckgeffihrte Vcitiiuiimgsldtungen dea Netzes zmn Lcniea aa^gctremit wcntai ^<^« la ™^ 
Sng^rFbrm ernes erstenuim ernes zweo^ 

te AnachbBdaran miter ZohnfenAme des merat aafberehetender Zweite bestmmtwd. 
4, Verfahira nach einem der vor^isheiK^ 
1 Verfahnm nacii etaem der TOTMgehe^ 
^tlon (fie Leniaclirlttweite ffir dk 

durchdieAiizahldcrggzoflgJ^ , ^ „ 

6. Verfehren nach einem der vorangehenden Ansprflcfae, bei dem ak stafoische Rauscfaverteikng eme 
Ga^verteamgfestgdegtwird. . . . „ 

7, Vcrfnfcmi naA finrar ifory^^g***™^ Angprflehe nut emerZettremeder form: 

mtt' ft' Mai**!**** RMMchygrteahing 
y:MefiwertederZeitreihe 

yt: vom nenranalen Nctz vurherzusageiider Wert , , ^ n 

bd der die FunktionfdnnAdw 
tezo: 

P«(yt-i - l&^-i. - P(yt|yt-uyt-2,..,yt-.N) (9 

bestimmt wird, woraus die Monte-Cario-Ptt*» yt-k 1 , * . , yt-k* gezogen werden tmdechein erwarteter 
v^pewnfllettNettvprneraisagepde^ 

E(y^,m)=^tf(y^) (3) 

ergSbt 

mifcyi-k fehlender MeBwert in derZeitreme 
mr afle bekannten Meftwerte der Zeftreihe 

E VeSennSSem der vorangehenden Ansprflche, beidem das Neuronal* Netz mknundestens einem 
aiifcer^ten Wert nach 

3L 

mtfc w: Nemonengewicht 

Lz togarithmische Wahi^einfirhkeHsftrnktion 

Tj:Lenrfaktor 

wobetgOi: 

3L 1^ A aiogP*(yL»~.y£») 
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rah: NN W : Werte der Fimktion aus dem neuronalen Netz 

wobei fflr y*i MeBwerte der Zeitreihe Verwendung finden und, falls ein Wert aidxt vorhandea ist, aus der 
Wahrscheinfichkfiitsverte^ 

pVly") 5 

Monte-Cario- Proben gezogen werden mit: 
m : aile bekanoten MeBwerte der Zeitreihe. 

9. Verfahrcn nach Anspnich 6, bei dem das Neuronale Netz mit nundestens einem aufbereitetea Wert nach 
folgender Lernfimktkm traiiriertwird; io 



15 

mit w: Neuronengewicht 

L: iogarithmische Wahrrcheuilichkeitsnjnktion 

T|:Lera£aktor 

wobei gift: 

20 

*aw a .-it-N+i 

25 

mit: NN V : Werte der Function aus dem neuronalen Netz 

wobei fflr y*i Mefiwerte der Zeitreihe Verweadang finden und, falls ein Wert nkht vorfaanden ist, aus der 
WahnchemifchfcfTtsvmeninigsc^dne: 

Monte-Cario-Proben gezogen werden mit: 
m: aile bekannten Mefiwerte der Zeitreihe. 
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